2.1.1.1 为什么要用Isaac Sim？¶

  Isaac Sim 仿真平台具有独特的优势，能够完美解决上述问题。它通过数字孪生技术 1:1 复现赛事场地的物理环境（如地面材质、障碍物布局）、机器人的硬件特性（如底盘运动参数、机械臂关节限制、相机视场角），以及任务逻辑（如导航避障规则、夹取精度要求）。

  这一迁移并非简单的场景复制，更旨在构建一个 “低成本、高保真、可复用” 的虚拟试验场：既让开发者能脱离实体机器人，在仿真中反复调试导航算法的路径规划效率、视觉模型的目标识别准确率、双臂夹爪的抓取稳定性；也为团队提供了标准化的任务验证工具 —— 无论新员工培训、算法迭代测试，还是赛前策略预演，都能在仿真环境中安全、高效地完成，最终实现 “仿真中验证的方案，能无缝适配真实场景” 的闭环效果。

  选择 Isaac Sim 仿真平台，还因为它能够提供高度逼真的物理模拟，确保机器人在仿真环境中的运动、受力等情况与真实世界高度一致，从而保证了仿真结果的可靠性。同时，它支持大规模的并行计算和快速的场景部署，能够大大提高研发和测试的效率，缩短产品的上市周期。此外，Isaac Sim 还具备强大的兼容性和扩展性，可以与各种主流的机器人开发工具和算法库进行无缝集成，为开发者提供了更加灵活和便捷的开发环境。

  综上所述，构建大象 X1 机器人的复杂仿真场景，并借助 Isaac Sim 仿真平台进行相关的研发、测试和培训工作，是降低成本、规避风险、提高效率的必然选择，对于推动机器人技术的发展和应用具有重要的意义。

2.1.2 前置技术知识¶

  对于这种复杂场景的构建以及运行，与传统及其他最主要区别有：

2.1.2.1 前置技术架构体系¶

  • python 编程语言：需掌握基础语法、面向对象编程，以及在 Isaac Sim 中调用 API 进行场景控制、机器人运动规划的脚本编写能力。

  • Linux 操作系统基础：熟悉终端命令、文件权限管理、进程调度等，因 ROS 及 Isaac Sim 都运行于 Linux 环境。

  • Isaac Sim 仿真基础知识：涵盖场景搭建（模型导入、物理参数配置）、传感器仿真（相机内参设置、点云数据模拟）、仿真时间控制与数据同步等。

  • ROS 架构与机器人：包括 ROS 节点通信、话题订阅与发布、服务调用等核心机制，以及 ROS 与仿真平台 / 实体机器人的交互逻辑。

  小结：对于python与linux较弱的同学，可以自己提前了解或边做边学，本次课程不做更多有关基础课程的讲解。而针对Isaac Sim的知识，本次课程会有针对性的引入相关知识与入门。若有对Isaac Sim仿真感兴趣的同学，我们有提供完整的仿真课程，可移步“00-05关于Isaac Sim的基础知识章节”。

2.1.2.2 机器人硬件设备与算法¶

  • X1 机器人硬件与传感器：了解底盘驱动方式、机械臂关节结构、相机 / 雷达等传感器的性能参数及数据输出格式。

  • 机器人感知算法基础：包括目标检测（如零食识别的图像处理逻辑）、位姿估计（判断物体三维位置）等，理解视觉数据如何转化为机器人可执行的坐标信息。

  • 路径规划与运动控制：知晓自主导航中的路径搜索算法（如 A*、Dijkstra）、避障逻辑，以及机械臂cuRobo逆运动学求解（如何通过关节角度控制夹爪到达目标位置）。

2.1.2.3 多阶段复合任务¶

“手动分步执行”或“任务管理器”模式

  • 多模块协同调度逻辑：了解任务优先级划分（如导航与抓取的执行顺序）、模块间数据传递的时序控制（避免传感器数据滞后影响决策）。

  • 所谓“任务管理器”模式，其实是将多阶段任务编排成一个任务序列，只通过运行相对简单的Python文件，可以让机器人先后完成多个任务。

  小结：本次X1机器人多模块的集成尤为关键，介于比赛难度的考量，我们将多模块的集成暂且不做要求，参赛者可以手动执行多阶段的复合任务。另外，本次课程提供“任务管理器”的思路给大家参考，若有其他实现方式的同学可以踊跃尝试。

2.1.3 案例架构¶

  该案例的架构基本分为三层如下：

  • 物理层：实体机器人X1、ROS2环境
  • 控制层：导航功能包、相机识别模块、机械臂控制模块
  • 仿真层：Isaac Sim仿真平台、独立化脚本

  （三者之间的关系如下图所示）

exported_image

模块 所属容器 核心功能
物理真机 - 搭载激光雷达、里程计、深度相机、机械臂等硬件，执行实际导航、识别和抓取任务，反馈真实传感器数据与执行状态
Isaac Sim 仿真平台 仿真容器 构建虚拟场景，模拟传感器数据（激光雷达、里程计、相机图像），复现物理环境与机器人行为
独立化脚本 仿真容器 桥接 Isaac Sim 与 ROS2，发布虚拟传感器话题、订阅控制指令，驱动仿真机器人运动
导航功能包 ROS2 容器 集成 SLAM、路径规划、运动控制算法，处理虚实传感器数据，输出机器人控制指令
机械臂控制模块 ROS2 容器 基于 curobo 实现机械臂的运动控制，根据目标位置规划机械臂的运动轨迹
相机识别模块 ROS2 容器 处理双目相机图像，识别目标物体的位置和姿态

2.1.4 案例实现思路¶

   本仿真利用 Isaac Sim 作为强大的仿真平台，结合 ROS2 操作系统的优势，实现机器人虚拟环境的精准搭建和灵活控制。

   具体步骤为：

  1. 首先进行导航建图，使机器人能够在虚拟环境中实现从起始点到目标点的自主导航；

整体实现案例在3.1.1

  1. 接着利用多个相机对目标物体进行识别和定位；

整体实现案例在3.1.2

  1. 最后控制机械臂与夹爪完成抓取任务。

整体实现案例在3.1.3

   在整个过程中，通过不断对各部分的算法和参数进行优化调整，确保仿真成果能够顺利迁移至实体机器人，实现从虚拟到现实的无缝对接。

   当每个模块能够独立完成后，可以通过联调方式集成，最终将X1机器人复杂仿真场景案例整体实现！

2.1.4.1 关键环节聚焦¶

机器人作业需经历导航建图→视觉识别→机械臂抓取 三个核心阶段，各阶段需解决以下关键问题：

  1. 导航建图阶段

   需平衡地图构建的精度与效率，核心关注：

  • 算法适配性：SLAM 算法在 Isaac Sim 中需兼顾地图构建速度与精度，满足导航实时性需求；
  • 坐标系统一：ROS2 导航栈（如 Nav2）与 Isaac Sim 虚拟环境的坐标系严格对齐，消除运动指令偏差。
  1. 视觉识别定位阶段

   需模拟真实环境的感知特性，核心关注：

  • 传感器仿真校准：双目相机的畸变系数、深度误差模型需与真实硬件特性匹配，确保虚拟感知数据可信；
  • 算法泛化验证：目标检测算法需验证不同光照、角度下的识别稳定性（如零食包装的多场景识别）。
  1. 机械臂抓取阶段

   需保障运动控制的物理真实性，核心关注：

  • 模型耦合性：机械臂运动学模型与 Isaac Sim 物理引擎深度耦合，需严格配置关节限制、力控参数；
  • 路径规划安全性：抓取姿态规划需集成碰撞检测，避免机械臂与自身 / 场景障碍物干涉。

2.1.4.2 执行难点突破¶

多模块协同作业的核心难点集中在 “时空同步” 与 “场景鲁棒性” 两大维度：

  1. 多模块时空同步

   导航、视觉、机械臂的动作时序需形成精准闭环：

  • 时序严格匹配：机械臂抓取需在导航定位误差（目标点 10cm 内）、仿真步长、ROS2 通信延迟间找到平衡，避免动作脱节；
  • 协同逻辑验证：通过仿真调试，明确各模块动作触发条件（如机械臂抓取启动的前置位姿精度要求）。
  1. 复杂场景鲁棒性

   虚拟环境的动态干扰需验证算法抗干扰能力：

  • 动态障碍物：导航模块需支持路径重规划，应对虚拟场景中突然出现的移动物体；
  • 光照突变：视觉识别需优化模型，保障不同光照条件下的目标检测稳定性。

2.1.4.3 核心协同逻辑¶

多模块协同的底层逻辑可总结为 “闭环协同” 与 “虚实迁移” 两大原则：

  1. 模块化协同闭环

   构建 “感知 - 决策 - 执行” 完整链路：

  • 导航为视觉提供稳定观测位姿，视觉为机械臂提供目标坐标，机械臂执行结果反馈修正位姿；
  • 误差消化机制：各模块需内置误差补偿逻辑（如导航位姿误差在 10cm 内时，视觉算法需适配补偿识别），避免误差累积。
  1. 可迁移性设计

   保障仿真与实体机器人的无缝衔接：

  • 接口层统一：通过 ROS2 消息格式、控制指令集的标准化，让仿真算法直接适配实体硬件；
  • 虚实特性对齐：机械臂运动学模型、相机感知参数需与实体设备完全一致，确保仿真验证结果可落地。

2.2 X1机器人硬件系统解析¶

2.2.1 关节与身体结构¶

2.2.1.1 整体结构树¶

   从结构树看，base_footprint 是基础，往上 base_link 连接身体 link_body 。身体分出 “头” “左右手臂” 分支 ：

  • “头” 分支：link_body 经 joint1_L/R 类似逻辑（图中头相关是 link_head 等 ），link_head 连 “眼部” link_eye ，构建头部结构 。
  • “手臂” 分支：link_body 经 joint1_L 依次连 link1_L 、joint2_L … 到 link7_L ，左右臂对称，关节（如 joint1_L - joint7_L ）串联起手臂连杆（link1_L - link7_L ），是手臂运动基础 。

exported_image

2.2.1.2 关节类型与作用¶

   关节分两类（结合关节图 ）：

  • 固定关节：如 joint3_hide ，无自由度（DOF），起连接、固定部分结构作用，让特定连杆相对静止 。
  • 活动关节：像肩部 joint1 / joint2 、肘部 joint3 、腕部 joint4 / joint5 、末端 joint6 ，带 6 自由度（6 DOF ），驱动手臂各连杆运动，实现抓取、操作等动作 。

exported_image

2.2.1.3 关节移动限制¶

   下表显示了每个关节的移动范围限制（以弧度为单位）：

关节名称 类型 下限(rad) 上限(rad) 范围(度)
关节1 旋转 -2.879 2.879 ~±165°
joint2 旋转 -0.8726 2.0943 ~-50° to 120°
joint3 旋转 -2.879 0.087 ~-165° to 5°
joint4 旋转 -2.879 2.879 ~±165°
joint5 旋转 -1.9198 3.0543 ~-110° to 175°
joint6 旋转 -3.14 3.14 ~±180°
head 旋转 -2.321 3.2812 ~-133° to 188°
eye 旋转 -1.04 0 ~-60° to 0°

   6轴版本手臂关节活动范围：

关节id 角度
1 -165 ~ 165
2 -55 ~ 95
3 -180 ~ 5
4 -165 ~ 165
5 -20 ~ 273
6 -180 ~ 180

   这些限制决定机器人运动边界，编程控制时不能超范围，否则损坏或故障 。

2.2.2 机器规格参数¶

参数项 规格参数
产品型号 Mercury X1
整机高度 1.18m
工作电压 24V
自由度 19自由度
续航时间 8小时
机械臂最大负载 1KG
机械臂重复定位精度 ± 0.05mm
整机净重 55KG
底盘驱动电机 高性能直驱电机
最大运行速度 1.2m/s
最大爬坡角度 15°
主控 Nvidia Jetson Xavier NX
主控算力 21 TOPS
屏幕 9英寸触摸屏
移动地盘传感器 激光雷达，超声波雷达，2D视觉
3D 相机 奥比中光 Deeyea
麦克风 线性4麦，5米180°拾音
IO 24V 6 Input, 6 Output
通信方式 CAN 总线/WIFI/网口/蓝牙/USB/串口

2.2.3 DH参数（Denavit - Hartenberg）¶

   DH 参数用于建立机器人连杆坐标系，描述连杆与关节关系，虽图中没直接给，但结合结构理解：

  • 连杆（Link）：图中 link1_L - link7_L 等是连杆，长度、角度等尺寸（首张图有连杆尺寸标注 ）是 DH 参数里 “连杆长度（a）”“连杆扭角（α）” 基础 。
  • 关节（Joint）：关节旋转角度是 DH 参数里 “关节角（θ）” ，关节偏移（如连杆间距离 ）对应 “关节偏移（d）” 。
  • 通过 DH 参数，可数学建模机器人运动，计算末端执行器位置、姿态，让机器人精准运动，比如依据首张图连杆尺寸 + 关节限制，用 DH 模型规划手臂抓取路径 。

exported_image

  机械臂：

exported_image

   简单说，这些图从机械结构（身体、关节分布 ）、运动限制（关节角度 ）到理论建模（DH 关联 ），帮我们认识机器人 “怎么动”“能动多少”“怎么算运动” ，是实操与编程控制的基础 ！

2.2.3.1 DH 参数的实际应用案例¶

  1. 工业机械臂装配作业（如汽车零部件组装）

   汽车厂焊接机械臂（如 ABB IRB 6700）需精准定位焊枪（误差 ±0.1mm 内），通过测量连杆长度（a）、扭角（α）及关节角度（θ）、偏移（d），DH 模型可计算出各关节转动量，避免碰撞并保证焊接精度。

  1. 协作机器人精密拾取（如电子元件分拣）

   UR5e 等协作机器人分拣 2mm×2mm 芯片时，借助 DH 参数将 “吸盘对准芯片” 转化为关节角度解算，确保平稳拾取、精准放入托盘，规避刮擦风险。

  1. 医疗手术机器人操作（如骨科钻孔机器人）

   MAKO 骨科机器人钻 3mm 椎骨孔（偏差需 < 0.5mm），结合 CT 影像与 DH 参数建立工具 - 骨骼坐标映射，实时调整关节角度，保障手术安全。

2.2.3.2 DH 参数在运动学中的核心作用¶

  1. 简化建模：用 4 个参数（a, α, θ, d）统一相邻连杆坐标系变换规则，避免复杂自定义逻辑，如 6 轴机械臂可通过 6 个 DH 矩阵乘积实现坐标转换。

  2. 正运动学解算：DH 矩阵相乘得 “基座 - 末端” 总变换矩阵，提取末端位置与姿态，为路径规划提供数据。

  3. 逆运动学解算：基于 DH 参数建立的方程，反向推导末端位姿对应的关节角度，满足 “末端到关节” 的控制需求。

  4. 误差补偿：将加工 / 装配误差量化为 DH 参数修正值，更新模型后提升机器人实际运行精度，如工业臂定期校准。

2.2.4 传感器介绍¶

   大象X1机器人底盘采用四轮差速驱动方式，配备高性能无刷电机，这种驱动方式使得机器人具备灵活的转向与移动能力，能够在狭窄空间和复杂地形中自由穿梭。在传感器方面，使用官方 N10P 激光雷达进行近距离探测，采用 TOF 测距原理，具有 360° 水平扫描角度，输出数据分辨率达 15mm，能够精确地感知周围环境的障碍物信息。同时，基于编码器原理的轮式里程计能够实时获取机器人的位置和运动信息，定位精度可达厘米级，为机器人的导航提供了准确的位置参考。

   下面是的N10P激光雷达参数:

参数 N10P
型号 N10P
类型 近距离
测距原理 TOF
应用场景 室内
扫描角度 360°
输出数据分辨率 15mm
外形尺寸 直径52*36.1mm
重量 约58g
测量距离精度 ±3cm@70%；±3cm(0 - 6m)；±4.5cm(≥6m)（70%反射率目标物）
光源 905nm激光
最小测量距离 0.1m
抗环境光强度 60KLux
数据内容 距离、角度、光强
电源 5VDC
测量/采样频率 5400次/s
角度分辨率 0.4° - 0.8°可调
扫描频率 6 - 12HZ可调
测量半径 白色物体：25m；黑色物体：11m
ROS支持 支持
WINDOWS支持 提供WINDOWS上位机
驱动方式 内置无刷电机
STM32支持 支持STM32采集，提供数据采集例程，提供STM32单片机雷达避障代码
Python支持 支持Python2.7和Python3.0两个版本例程采集雷达数据（支持在Windows和Ubuntu环境运行）
环境温度 工作：-10°C - 40°C；存储：-30°C - 70°C
防护等级 -
通信接口 网口，标准串口（波特率：460800bps）
功耗 工作电压：5V；工作电流：360mA
应用场景 二维地图重建、实时导航避障、商用机器人、服务机器人、自动驾驶、大屏互动

2.2.5 相机基本参数¶

以下介绍X1机器人的双目相机

   IMX219-83 Stereo Camera:

exported_image

参数类型 详细规格
像素数量 800万像素
感光芯片 索尼IMX219
分辨率 3280 × 2464（每路）
CMOS尺寸 1/4英寸
光圈（F） 2.4
焦距 2.6mm
视场角 对角83° / 水平73° / 垂直50°
畸变 < 1%
基线长度 60mm

   ICM20948传感器参数:

传感器类型 特性描述
加速度计 分辨率：16位
量程(可选)：±2、±4、±8、±16g
工作电流：68.9μA
陀螺仪 分辨率：16位
量程(可选)：±250、±500、±1000、±2000°/sec
工作电流：1.23mA
磁力计 分辨率：16位
量程：±4900μT
工作电流：90μA

   物理尺寸参数:

参数类型 规格
设备尺寸 24mm × 85mm

2.2.6 轮式差速机器人¶

何为轮式差速机器人？

   轮式差速机器人是一种通过独立控制左右两侧驱动轮的速度差来实现移动和转向的机器人，其核心原理是：当两侧轮子同速时直线运动，速度不同时产生差速从而实现转向（左轮慢则左转，右轮慢则右转），完全反向旋转时可实现原地零半径转向，结构简单且控制灵活，常见于扫地机器人、AGV等移动平台。

   X1机器人为轮式差速驱动机器人，采用前轮主动驱动、后轮从动的结构，通过左右前轮的转速差实现转向控制。

exported_image

2.2.6.1 核心参数¶

  • 车轮半径（wheel_radius）：6.75cm，即单个驱动轮的半径尺寸
  • 轮距（wheel_base）：23.3cm，指左右两个主动轮中心之间的水平距离

exported_image

2.2.6.2 基本控制原理¶

   导航系统输出的线速度（v）和角速度（ω）指令，需转换为左右轮的转速。当机器人直线运动时，左右轮转速相同，此时机器人线速度等于单个车轮的线速度；当转弯时，左右轮形成转速差 —— 内侧车轮转速低于外侧车轮，转速差的大小决定了转弯的角速度。

左轮速度：V 左 = v - (ω × wheel_base)/2
右轮速度：V 右 = v + (ω × wheel_base)/2